專門家の混合 (MoE)
専門家の混合とは| IBM
Robert A. Jacobs, Michael I. Jordan, Steven J. Nowlan, Geoffrey E. Hinton “Adaptive Mixtures of Local Experts” 1991/3
本論文では、多數の獨立したネットワークから構成されるシステム向けの新しい敎師有り學習 (SL)手法を提案する。各ネットワークは、訓練事例の完全な集合のうち特定の部分集合を扱ふやうに學習する。この新規手法は、多層構造の敎師ありネットワークのモジュール版と見なすこともできれば、競合學習の聯想型バージョンと解釋することも可能である。これにより、一見異なるこれら二つのアプローチの閒に新たな關聯性が確立される。本手法の學習プロセスは、母音識別タスクを適切なサブタスクに分割し、それぞれが非常に單純な專門ネットワークによって解決可能であることを示してゐる。
Weilin Cai, Juyong Jiang, Fan Wang, Jing Tang, Sunghun Kim, Jiayi Huang "A Survey on Mixture of Experts in Large Language Models" 2025/4/9